Ejercicio 1:
Utilizando los datos de ecobici_2010_2017 y MapReduce averigua ¿Cuántos registros hay por cicloestación?
Imágen del jps del clúster y map reduce exitoso
Jps:
Map reduce:
Imágen de localhost:8088 seleccionando la opción Nodes:
Imágen de localhost:8088 seleccionando la opción FINISHED para ver que los jobs corrieron existosamente:
Se muestran resultados:
Ejercicio 2:
Con los datos de vuelos retrasados en USA hacer un join del lado del mapper con flights, airports y airlines. Primero intenta una sola llave o flights o airports.
El join se hizo en 2 partes, la primera se unió flights con airlines utilizando los programas mapper2 y reducer2 que se agregan en la carpeta del ejercicio 2 y la segunda parte usó airports con el resultado del join anterior a través de mapper2_1 y reducer2_1.
Maper2 y Reducer2:
Mapper2:
Reducer2:
Mapper2_1 y Reducer2_1:
Mapper2_1:
Reducer2_1:
Con ambos obtenemos lo siguiente:
Jps y Map Reduce exitoso:
Jps:
Map reduce:
Localhost con nodes:
Localhost con finished:
Se muestran los resultados:
Adicionalmente, se anexa una muestra de la salida en el archivo output2.txt en la carpeta del ejercicio 2.
Ejercicio 3:
Con los datos de vuelos retrasados en USA hacer un join del lado del reducer con flights, airports y airlines. Primero intenta una sola llave o flights o airports.
Al igual que en el ejemplo anterior se hace el join en 2 pasos primero airlines con flights usando los programas mapper3.py y reducer3.py y luego con ese resulado unido a airports y se usan los programas mapper3_1 y reducer3_1.
Mapper3 y Reducer3
Mapper3:
Reducer3:
Mapper3_1 y Reducer3_1:
Mapper3_1:
Reducer3_1:
Jps y Map Reduce exitoso:
Jps:
Map reduce:
Localhost con nodes:
Locahost con finished:
Se muestran resultados:
Finalmente, se anexa una muestra de la salida en el archivo output3.txt en la carpeta del ejercicio 3.